خطوط أنابيب Scikit-learn: الدليل الشامل لأتمتة سير عمل تعلم الآلة

في عالم تعلم الآلة، غالبًا ما يُصوَّر بناء النموذج على أنه الخطوة النهائية البراقة. ومع ذلك، يعلم علماء البيانات المخضرمون ومهندسو تعلم الآلة أن الرحلة نحو نموذج قوي ممهدة بسلسلة من الخطوات الحاسمة، والمتكررة في كثير من الأحيان، والمعرضة للخطأ: تنظيف البيانات، وقياس الميزات، وترميز المتغيرات الفئوية، والمزيد. يمكن أن تصبح إدارة هذه الخطوات بشكل فردي لمجموعات التدريب والتحقق والاختبار كابوسًا لوجستيًا بسرعة، مما يؤدي إلى أخطاء دقيقة، والأخطر من ذلك، تسرب البيانات.

وهنا يأتي دور خط أنابيب Scikit-learn لإنقاذ الموقف. إنها ليست مجرد أداة للراحة؛ بل هي أداة أساسية لبناء أنظمة تعلم آلة احترافية وقابلة للتكرار وجاهزة للإنتاج. سيرشدك هذا الدليل الشامل خلال كل ما تحتاج لمعرفته لإتقان خطوط أنابيب Scikit-learn، بدءًا من المفاهيم الأساسية وصولًا إلى التقنيات المتقدمة.

المشكلة: سير عمل تعلم الآلة اليدوي

لنفكر في مهمة تعلم خاضعة للإشراف نموذجية. قبل أن تتمكن حتى من استدعاء model.fit()، تحتاج إلى إعداد بياناتك. قد يبدو سير العمل القياسي كما يلي:

1. تقسيم البيانات: قسّم مجموعة بياناتك إلى مجموعات تدريب واختبار. هذه هي الخطوة الأولى والأكثر أهمية لضمان قدرتك على تقييم أداء نموذجك على بيانات لم يرها من قبل.
2. معالجة القيم المفقودة: حدد وعوّض البيانات المفقودة في مجموعة التدريب الخاصة بك (على سبيل المثال، باستخدام المتوسط أو الوسيط أو قيمة ثابتة).
3. ترميز الميزات الفئوية: حوّل الأعمدة غير الرقمية مثل 'البلد' أو 'فئة المنتج' إلى تنسيق رقمي باستخدام تقنيات مثل الترميز الأحادي (One-Hot Encoding) أو الترميز الترتيبي (Ordinal Encoding).
4. قياس الميزات الرقمية: اجعل جميع الميزات الرقمية على مقياس متماثل باستخدام طرق مثل التوحيد القياسي (StandardScaler) أو التطبيع (MinMaxScaler). هذا أمر حاسم للعديد من الخوارزميات مثل آلات المتجهات الداعمة (SVMs)، والانحدار اللوجستي، والشبكات العصبية.
5. تدريب النموذج: أخيرًا، قم بتدريب نموذج تعلم الآلة الذي اخترته على بيانات التدريب المعالجة مسبقًا.

الآن، عندما تريد عمل تنبؤات على مجموعة الاختبار الخاصة بك (أو بيانات جديدة لم ترها من قبل)، يجب عليك تكرار نفس خطوات المعالجة المسبقة بالضبط. يجب عليك تطبيق نفس استراتيجية تعويض القيم المفقودة (باستخدام القيمة المحسوبة من مجموعة التدريب)، ونفس مخطط الترميز، ونفس معلمات القياس. إن تتبع كل هذه المحولات المدربة يدويًا أمر ممل ومصدر رئيسي للأخطاء.

الخطر الأكبر هنا هو تسرب البيانات (data leakage). يحدث هذا عندما تتسرب معلومات من مجموعة الاختبار عن غير قصد إلى عملية التدريب. على سبيل المثال، إذا قمت بحساب المتوسط لتعويض القيم المفقودة أو معلمات القياس من مجموعة البيانات بأكملها قبل التقسيم، فإن نموذجك يتعلم ضمنيًا من بيانات الاختبار. يؤدي هذا إلى تقدير أداء متفائل بشكل مفرط ونموذج يفشل فشلاً ذريعًا في العالم الحقيقي.

تقديم خطوط أنابيب Scikit-learn: الحل الآلي

إن Pipeline في Scikit-learn هو كائن يربط عدة خطوات لتحويل البيانات ومُقدِّرًا نهائيًا (مثل مصنف أو متنبئ) في كائن واحد موحد. يمكنك التفكير فيه كخط تجميع لبياناتك.

عندما تستدعي .fit() على Pipeline، فإنه يطبق fit_transform() بالتتابع على كل خطوة وسيطة على بيانات التدريب، ويمرر مخرجات خطوة كمدخلات للخطوة التالية. أخيرًا، يستدعي .fit() على الخطوة الأخيرة، وهي المقدّر. عندما تستدعي .predict() أو .transform() على Pipeline، فإنه يطبق فقط طريقة .transform() لكل خطوة وسيطة على البيانات الجديدة قبل إجراء التنبؤ باستخدام المقدّر النهائي.

الفوائد الرئيسية لاستخدام خطوط الأنابيب

• منع تسرب البيانات: هذه هي الفائدة الأكثر أهمية. من خلال تغليف جميع عمليات المعالجة المسبقة داخل خط الأنابيب، فإنك تضمن أن التحويلات يتم تعلمها فقط من بيانات التدريب أثناء التحقق المتقاطع وتطبيقها بشكل صحيح على بيانات التحقق/الاختبار.
• البساطة والتنظيم: يتم تكثيف سير عملك بالكامل، من البيانات الخام إلى النموذج المدرب، في كائن واحد. هذا يجعل الكود الخاص بك أنظف وأكثر قابلية للقراءة وأسهل في الإدارة.
• القابلية للتكرار: يغلف كائن Pipeline عملية النمذجة بأكملها. يمكنك بسهولة حفظ هذا الكائن الفردي (على سبيل المثال، باستخدام `joblib` أو `pickle`) وتحميله لاحقًا لإجراء تنبؤات، مما يضمن اتباع نفس الخطوات بالضبط في كل مرة.
• الكفاءة في البحث الشبكي (Grid Search): يمكنك إجراء ضبط للمعلمات الفائقة عبر خط الأنابيب بأكمله دفعة واحدة، وإيجاد أفضل المعلمات لكل من خطوات المعالجة المسبقة والنموذج النهائي في وقت واحد. سوف نستكشف هذه الميزة القوية لاحقًا.

بناء أول خط أنابيب بسيط لك

لنبدأ بمثال أساسي. تخيل أن لدينا مجموعة بيانات رقمية ونريد قياس البيانات قبل تدريب نموذج الانحدار اللوجستي. إليك كيفية بناء خط أنابيب لذلك.

أولاً، لنقم بإعداد بيئتنا وإنشاء بعض البيانات النموذجية.

            
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score

# Generate some sample data
X, y = np.random.rand(100, 5) * 10, (np.random.rand(100) > 0.5).astype(int)

# Split data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

            

              
                Copy
              
            
          

الآن، دعنا نُعرّف خط الأنابيب الخاص بنا. يتم إنشاء خط الأنابيب من خلال توفير قائمة من الخطوات. كل خطوة هي عبارة عن tuple يحتوي على اسم (سلسلة نصية من اختيارك) وكائن المحول أو المقدّر نفسه.

            
# Create the pipeline steps
steps = [
    ('scaler', StandardScaler()),
    ('classifier', LogisticRegression())
]

# Create the Pipeline object
pipe = Pipeline(steps)

# Now, you can treat the 'pipe' object as if it were a regular model.
# Let's train it on our training data.
pipe.fit(X_train, y_train)

# Make predictions on the test data
y_pred = pipe.predict(X_test)

# Evaluate the model
accuracy = accuracy_score(y_test, y_pred)
print(f"Pipeline Accuracy: {accuracy:.4f}")

            

              
                Copy
              
            
          

هذا كل شيء! في بضعة أسطر فقط، قمنا بدمج القياس والتصنيف. تتولى Scikit-learn كل المنطق الوسيط. عند استدعاء pipe.fit(X_train, y_train)، فإنه يستدعي أولاً StandardScaler().fit_transform(X_train) ثم يمرر النتيجة إلى LogisticRegression().fit(). وعند استدعاء pipe.predict(X_test)، فإنه يطبق المقاييس التي تم تدريبها بالفعل باستخدام StandardScaler().transform(X_test) قبل إجراء التنبؤات باستخدام نموذج الانحدار اللوجستي.

معالجة البيانات غير المتجانسة: `ColumnTransformer`

نادرًا ما تكون مجموعات البيانات في العالم الحقيقي بسيطة. غالبًا ما تحتوي على مزيج من أنواع البيانات: أعمدة رقمية تحتاج إلى قياس، وأعمدة فئوية تحتاج إلى ترميز، وربما أعمدة نصية تحتاج إلى تحويل إلى متجهات. لا يكفي خط أنابيب تسلسلي بسيط لهذا الغرض، حيث تحتاج إلى تطبيق تحويلات مختلفة على أعمدة مختلفة.

وهنا يبرز دور ColumnTransformer. فهو يسمح لك بتطبيق محولات مختلفة على مجموعات فرعية مختلفة من الأعمدة في بياناتك ثم يربط النتائج بذكاء. إنه الأداة المثالية لاستخدامها كخطوة معالجة مسبقة ضمن خط أنابيب أكبر.

مثال: الجمع بين الميزات الرقمية والفئوية

لنقم بإنشاء مجموعة بيانات أكثر واقعية تحتوي على ميزات رقمية وفئوية باستخدام pandas.

            
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
from sklearn.impute import SimpleImputer

# Create a sample DataFrame
data = {
    'age': [25, 30, 45, 35, 50, np.nan, 22],
    'salary': [50000, 60000, 120000, 80000, 150000, 75000, 45000],
    'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA', 'UK'],
    'purchased': [0, 1, 1, 0, 1, 1, 0]
}
df = pd.DataFrame(data)

X = df.drop('purchased', axis=1)
y = df['purchased']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Identify numerical and categorical columns
numerical_features = ['age', 'salary']
categorical_features = ['country']

            

              
                Copy
              
            
          

ستكون استراتيجيتنا للمعالجة المسبقة كما يلي:

1. للأعمدة الرقمية (age, salary): تعويض القيم المفقودة بالوسيط، ثم قياسها.
2. للأعمدة الفئوية (country): تعويض القيم المفقودة بالفئة الأكثر تكرارًا، ثم ترميزها ترميزًا أحاديًا.

يمكننا تعريف هذه الخطوات باستخدام خطي أنابيب صغيرين منفصلين.

            
# Create a pipeline for numerical features
numeric_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

# Create a pipeline for categorical features
categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='most_frequent')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))
])

            

              
                Copy
              
            
          

الآن، نستخدم `ColumnTransformer` لتطبيق خطوط الأنابيب هذه على الأعمدة الصحيحة.

            
# Create the preprocessor with ColumnTransformer
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numerical_features),
        ('cat', categorical_transformer, categorical_features)
    ])

            

              
                Copy
              
            
          

يأخذ `ColumnTransformer` قائمة من `transformers`. كل محول هو عبارة عن tuple يحتوي على اسم، وكائن المحول (الذي يمكن أن يكون خط أنابيب بحد ذاته)، وقائمة أسماء الأعمدة التي سيتم تطبيقه عليها.

أخيرًا، يمكننا وضع هذا `preprocessor` كخطوة أولى في خط الأنابيب الرئيسي لدينا، يليه المقدّر النهائي.

            
from sklearn.ensemble import RandomForestClassifier

# Create the full pipeline
full_pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('classifier', RandomForestClassifier(random_state=42))
])

# Train and evaluate the full pipeline
full_pipeline.fit(X_train, y_train)

print("Model score on test data:", full_pipeline.score(X_test, y_test))

# You can now make predictions on new raw data
new_data = pd.DataFrame({
    'age': [40, 28],
    'salary': [90000, 55000],
    'country': ['USA', 'Germany'] # 'Germany' is an unknown category
})

predictions = full_pipeline.predict(new_data)
print("Predictions for new data:", predictions)

            

              
                Copy
              
            
          

لاحظ كيف يتعامل هذا مع سير عمل معقد بأناقة. إن المعلمة `handle_unknown='ignore'` في `OneHotEncoder` مفيدة بشكل خاص لأنظمة الإنتاج، حيث تمنع الأخطاء عند ظهور فئات جديدة غير مرئية في البيانات.

تقنيات متقدمة لخطوط الأنابيب

توفر خطوط الأنابيب المزيد من القوة والمرونة. دعنا نستكشف بعض الميزات المتقدمة الضرورية لمشاريع تعلم الآلة الاحترافية.

إنشاء محولات مخصصة

في بعض الأحيان، لا تكون المحولات المدمجة في Scikit-learn كافية. قد تحتاج إلى إجراء تحويل خاص بمجال معين، مثل استخراج لوغاريتم ميزة ما أو دمج ميزتين في ميزة جديدة. يمكنك بسهولة إنشاء محولات مخصصة خاصة بك تتكامل بسلاسة في خط أنابيب.

للقيام بذلك، تقوم بإنشاء فئة ترث من `BaseEstimator` و `TransformerMixin`. ما عليك سوى تنفيذ طريقتي `fit()` و `transform()` (و `__init__()` إذا لزم الأمر).

ل malpractice بإنشاء محول يضيف ميزة جديدة: نسبة `salary` إلى `age`.

            
from sklearn.base import BaseEstimator, TransformerMixin

# Define column indices (can also pass names)
age_ix, salary_ix = 0, 1

class FeatureRatioAdder(BaseEstimator, TransformerMixin):
    def __init__(self):
        pass # No parameters to set
    def fit(self, X, y=None):
        return self # Nothing to learn during fit, so just return self
    def transform(self, X):
        salary_age_ratio = X[:, salary_ix] / X[:, age_ix]
        return np.c_[X, salary_age_ratio] # Concatenate original X with new feature

            

              
                Copy
              
            
          

يمكنك بعد ذلك إدراج هذا المحول المخصص في خط أنابيب المعالجة الرقمية الخاص بك:

            
numeric_transformer_with_custom = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='median')),
    ('ratio_adder', FeatureRatioAdder()), # Our custom transformer
    ('scaler', StandardScaler())
])

            

              
                Copy
              
            
          

يسمح لك هذا المستوى من التخصيص بتغليف كل منطق هندسة الميزات الخاص بك داخل خط الأنابيب، مما يجعل سير عملك قابلاً للنقل والتكرار بشكل كبير.

ضبط المعلمات الفائقة مع خطوط الأنابيب باستخدام `GridSearchCV`

يمكن القول إن هذا هو أحد أقوى تطبيقات خطوط الأنابيب. يمكنك البحث عن أفضل المعلمات الفائقة لسير عملك بأكمله، بما في ذلك خطوات المعالجة المسبقة والنموذج النهائي، كل ذلك مرة واحدة.

لتحديد المعلمات التي سيتم ضبطها، يمكنك استخدام صيغة خاصة: `step_name__parameter_name`.

دعنا نتوسع في مثالنا السابق ونقوم بضبط المعلمات الفائقة لكل من أداة تعويض القيم المفقودة في المعالج المسبق و `RandomForestClassifier`.

            
from sklearn.model_selection import GridSearchCV

# We use the 'full_pipeline' from the ColumnTransformer example

# Define the parameter grid
param_grid = {
    'preprocessor__num__imputer__strategy': ['mean', 'median'],
    'classifier__n_estimators': [50, 100, 200],
    'classifier__max_depth': [None, 10, 20],
    'classifier__min_samples_leaf': [1, 2, 4]
}

# Create the GridSearchCV object
grid_search = GridSearchCV(full_pipeline, param_grid, cv=5, verbose=1, n_jobs=-1)

# Fit it to the data
grid_search.fit(X_train, y_train)

# Print the best parameters and score
print("Best parameters found: ", grid_search.best_params_)
print("Best cross-validation score: ", grid_search.best_score_)

# The best estimator is already refitted on the whole training data
best_model = grid_search.best_estimator_
print("Test set score with best model: ", best_model.score(X_test, y_test))

            

              
                Copy
              
            
          

انظر عن كثب إلى المفاتيح في `param_grid`:

• 'preprocessor__num__imputer__strategy': يستهدف هذا معلمة strategy لخطوة SimpleImputer المسماة imputer داخل خط الأنابيب الرقمي المسمى num، والذي هو بحد ذاته داخل ColumnTransformer المسمى preprocessor.
• 'classifier__n_estimators': يستهدف هذا معلمة n_estimators للمقدّر النهائي المسمى classifier.

من خلال القيام بذلك، يقوم `GridSearchCV` بتجربة جميع التوليفات بشكل صحيح ويجد المجموعة المثلى من المعلمات لسير العمل بأكمله، مما يمنع تمامًا تسرب البيانات أثناء عملية الضبط لأن جميع عمليات المعالجة المسبقة تتم داخل كل طية من طيات التحقق المتقاطع.

تصور وتفحص خط الأنابيب الخاص بك

يمكن أن يصبح من الصعب فهم خطوط الأنابيب المعقدة. توفر Scikit-learn طريقة رائعة لتصورها. بدءًا من الإصدار 0.23، يمكنك الحصول على تمثيل HTML تفاعلي.

            
from sklearn import set_config

# Set display to 'diagram' to get the visual representation
set_config(display='diagram')

# Now, simply displaying the pipeline object in a Jupyter Notebook or similar environment will render it
full_pipeline

            

              
                Copy
              
            
          

سيؤدي هذا إلى إنشاء رسم تخطيطي يوضح تدفق البيانات عبر كل محول ومقدّر، إلى جانب أسمائهم. هذا مفيد للغاية لتصحيح الأخطاء ومشاركة عملك وفهم بنية نموذجك.

يمكنك أيضًا الوصول إلى الخطوات الفردية لخط أنابيب مدرب باستخدام أسمائها:

            
# Access the final classifier of the fitted pipeline
final_classifier = full_pipeline.named_steps['classifier']
print("Feature importances:", final_classifier.feature_importances_)

# Access the OneHotEncoder to see the learned categories
onehot_encoder = full_pipeline.named_steps['preprocessor'].named_transformers_['cat'].named_steps['onehot']
print("Categorical features learned:", onehot_encoder.categories_)

            

              
                Copy
              
            
          

المزالق الشائعة وأفضل الممارسات

1. التدريب على البيانات الخاطئة: دائمًا وأبدًا، قم بتدريب خط الأنابيب الخاص بك على بيانات التدريب فقط. لا تقم أبدًا بتدريبه على مجموعة البيانات الكاملة أو مجموعة الاختبار. هذه هي القاعدة الأساسية لمنع تسرب البيانات.
2. تنسيقات البيانات: كن على دراية بتنسيق البيانات الذي تتوقعه كل خطوة. قد تعمل بعض المحولات (مثل تلك الموجودة في مثالنا المخصص) مع مصفوفات NumPy، بينما تكون أخرى أكثر ملاءمة مع Pandas DataFrames. Scikit-learn جيدة بشكل عام في التعامل مع هذا، ولكنه شيء يجب أن تكون على دراية به، خاصة مع المحولات المخصصة.
3. حفظ وتحميل خطوط الأنابيب: لنشر نموذجك، ستحتاج إلى حفظ خط الأنابيب المدرب. الطريقة القياسية للقيام بذلك في بيئة بايثون هي باستخدام `joblib` أو `pickle`. غالبًا ما يكون `joblib` أكثر كفاءة للكائنات التي تحمل مصفوفات NumPy كبيرة.

               
   import joblib
   
   # Save the pipeline
   joblib.dump(full_pipeline, 'my_model_pipeline.joblib')
   
   # Load the pipeline later
   loaded_pipeline = joblib.load('my_model_pipeline.joblib')
   
   # Make predictions with the loaded model
   loaded_pipeline.predict(new_data)
   
               
   
                 
                   Copy
                 
               
             

4. استخدام أسماء وصفية: امنح خطوات خط الأنابيب ومكونات `ColumnTransformer` أسماء واضحة ووصفية (على سبيل المثال، 'numeric_imputer' ، 'categorical_encoder' ، 'svm_classifier'). هذا يجعل الكود الخاص بك أكثر قابلية للقراءة ويبسط ضبط المعلمات الفائقة وتصحيح الأخطاء.

الخاتمة: لماذا لا يمكن التفاوض على خطوط الأنابيب لتعلم الآلة الاحترافي

إن خطوط أنابيب Scikit-learn ليست مجرد أداة لكتابة كود أكثر ترتيبًا؛ إنها تمثل نقلة نوعية من البرمجة اليدوية المعرضة للخطأ إلى نهج منهجي وقوي وقابل للتكرار لتعلم الآلة. إنها العمود الفقري لممارسات هندسة تعلم الآلة السليمة.

من خلال تبني خطوط الأنابيب، فإنك تكسب:

• المتانة: تقضي على المصدر الأكثر شيوعًا للخطأ في مشاريع تعلم الآلة - تسرب البيانات.
• الكفاءة: تبسط سير عملك بأكمله، من هندسة الميزات إلى ضبط المعلمات الفائقة، في وحدة واحدة متماسكة.
• القابلية للتكرار: تقوم بإنشاء كائن واحد قابل للتسلسل يحتوي على منطق النموذج بأكمله، مما يسهل نشره ومشاركته.

إذا كنت جادًا في بناء نماذج تعلم الآلة التي تعمل بشكل موثوق في العالم الحقيقي، فإن إتقان خطوط أنابيب Scikit-learn ليس اختياريًا - إنه ضروري. ابدأ في دمجها في مشاريعك اليوم، وستبني نماذج أفضل وأكثر موثوقية بشكل أسرع من أي وقت مضى.